Det vakte opsigt, da en rapport for et par uger siden påviste, at børn fra brudte hjem klarer sig dårligere i skolen, umiddelbart efter at deres forældre går fra hinanden og flere år frem.
Eller gør de…?
Spørger man professor Jeppe Bundsgaard bygger rapporten nemlig på data, der ikke er til at stole på, og det er et alvorligt problem for troværdigheden af resultaterne.
”Jeg ved ikke om de data er gode nok eller for dårlige til at bygge forskning på, og det ved folkene bag denne her rapport heller ikke selv”, siger professoren og undrer sig over, at forskerne bag vælger at bruge data, som de ifølge ham burde vide, er upålidelige.
”Når nu de går så højt op i at kontrollere for alle mulige andre faktorer i deres beregninger, undrer det mig, at de ikke forholder sig til de mest grundlæggende spørgsmål”.
Rapporten, der blandt andre er finansieret af Rockwool Fonden bygger i høj grad delvist på tal fra den nationale test i dansk/læsning fra 2010 til 2018, og det er lige præcis dét, der bekymrer Jeppe Bundsgaard, der er professor i danskfagets didaktik ved Institut for Pædagogik og Uddannelse (DPU). I 2019 skrev han sammen med professor emeritus Svend Kreiner nemlig en forskningsartikel, hvori de påviste, at data fra de nationale test var upålidelige, eller rettere biased og ”skæve”, som han siger. Artiklen førte til, at Styrelsen for It og Læring gik testdata igennem på ny. Problemet viste sig, at være større end først antaget, og Stil genberegnede derfor resultaterne fra alle tidligere test, så skævhederne blev udlignet. Data fra før 2015 lod sig dog ikke rette, og derfor er de ifølge Jeppe Bundsgaard ubrugelige til forskning.
”De problemer, som forskerne mener at kunne påvise med deres beregninger kan derfor være langt større, end de påstår, eller langt mindre. De risikerer at overse vigtige forhold, når de ikke ved, om deres målebånd så at sige måler forkert”, forklarer Jeppe Bundsgaard.
Fallesen: Tallene siger noget vigtigt.
Forskningsprofessor i Rockwool Fonden Peter Fallesen, der er ledende forsker og bidragyder til undersøgelserne, afviser Jeppe Bundsgaards kritik.
”Jeg er meget sikker på vores resultater. De lever op til videnskabelig standard, og vi går til de her data på samme måde, som andre gør”, siger han og henviser til, at hans og kollegerne påviser en negativ effekt på elevers præstation i de nationale læsetest ugen efter, at forældrene er flyttet hver til sit.
”Hvis de her data ikke målte noget som helst, der har relevans, hvorfor ser vi så en reaktion allerede ugen efter, at mor og far går fra hinanden? Der foregår helt sikkert noget i de her børn”, siger han og tilføjer,
”Testresultaterne i læsning indeholder rigtig rigtig meget information omkring, hvordan det kommer til at gå dig i senere i livet. De evalueringer, som jeg har læst af de her data viser, at der ikke er noget, der tyder på, at de er biased. Kun at de er upræcise”, siger Peter Fallesen.
”Jeg tror, at Bundsgaard og Kreiner bytter om på klassisk målefejl og bias”, siger han og fastholder, at data fra de nationale test sagtens kan bruges til forskning og henviser til ”adskillige rapporter” fra både Rockwool Fonden, Trygfondens Børneforskningscenter og Vive, der bekræfter hans standpunkt.
Peter Fallesen medgiver dog, at data er mere upræcise før 2015, men det kan der kontrolleres for, mener han. Og der har Peter Fallesens og hans forskerkolleger netop gjort, fortæller han:
”En af de robusthedsanalyser, vi har lavet er, at vi har kigget isoleret på data fra 2015 og frem og har gjort det samme for data fra '14 og tidligere. Vi har undersøgt, om den opdeling ændrer drastisk på vores resultater, og den gør det ikke”, forklarer han.
”Selvfølgelig er der en sammenhæng”
At der er et sammenfald mellem testscoren i nationale test og afgangseksamen er ifølge Jeppe Bundsgaard åbenlyst.
”Selvfølgelig er der en sammenhæng imellem resultater til læseprøverne og eksamenskarakter til afgangseksamen, men vi plejer jo ikke at være ligeglad med, om det vi måler, er skævt. Det svarer til at tælle sine penge i kroner uden at skelne mellem, om det er norske, svenske eller danske kroner, man har i sparegrisen”, siger Jeppe Bundsgaard.
Han afviser, at sammenhængen i sig selv beviser, at data fra de nationale test kan bruges til forskning.
”Der er jo også en kæmpestor sammenhæng imellem elevers testresultater i matematik og naturfag og deres score i læsning i Pisa-testen. Men der er jo ikke ingen, der vil påstå, at når man måler læsning i Pisa, så er det det samme som, at man måler matematik”, forklarer han og understreger: "at der er en sammenhæng, er ikke det samme som, at man måler det samme, eller at der er styr på skævhederne. Det er et udtryk for, at man måler noget, men at man ikke har styr på, hvilket måleinstrument man bruger”.
Jeppe Bundsgaard giver desuden ikke meget for de rapporter fra Vive, Peter Fallesen refererer til. Da rapporterne udkom i sin tid skrev han faktisk en ”ret lang gennemgang af, hvor forfatterne havde taget fejl i deres opsamlinger”, fortæller han. Uden den store respons.
”Svaret var kort fortalt, at ’den rapport er sådan set færdig, så det kan vi ikke tage os af’”, siger Jeppe Bundsgaard, der gerne deler sin kritik af Vives rapport.
Det er umuligt at korrigere for fejl
Svend Kreiner var medforfatter på forskningsartiklen fra 2019. Han er professor emeritus ved Københavns Universitets biostatistiske afdeling, adjungeret professor ved DPU og har arbejdet med statistiske og psykometriske modeller og metoder siden 1969.
Han fastholder ligesom Jeppe Bundsgaard, at brugen af data fra de nationale test er problematisk, og han betvivler, at forskerne kan kontrollere for fejl.
”Hvis rapporten benytter sig af data fra de nationale test fra før 2015, stiller det det spørgsmål til dens holdbarhed”, siger Svend Kreiner og understreger:
”Det vil være umuligt for folkene bag skilsmisserapporten at korrigere for eventuelle fejl og bias i tallene før 2015. Det forudsætter, at de har adgang til alle svar på de enkelte opgaver og de korrigerede sværhedsgrader fra Stil (Styrelsen for it og læring, red.). Det er en opgave, som kun kan løses af Stil”.
Ny rapport ripper op i gammel forskerfejde
Diskussionen om data fra nationale test er altså ikke ny, og noget tyder på, at den altså heller ikke er afsluttet.
Da Jeppe Bundsgaard og Svend Kreiner i 2019 offentliggjorde deres forskningsartikel skabte det røre i forskningsverden. 32 økonomer gik sammen om en kronik i Politiken, hvor de gik i rette med artiklens konklusioner.
Efterfølgende blev der arrangeret en såkaldt konsensuskonference, hvor forskerne skulle mødes ansigt til ansigt for at diskutere uenighederne. Arrangementet blev dog aflyst i sidste øjeblik af den økonomiske fløj, til stor ærgrelse for Svend Kreiner.
”Vi kan jo ikke have en videnskabelig diskussion uden en reel debat", sagde han dengang og kaldte aflysningen for decideret "pinlig".
Kort efter blev der nedsat et ”akademi for pædagogiske test og evaluering”, som ifølge Jeppe Bundsgaard ikke har ført meget med sig. Stridighederne om de nationale testdatas pålidelighed er altså derfor stadig uafklarede, og data bliver stadig brugt til stor undren for Jeppe Bundsgaard.
”Det undrer mig meget, at de ikke anerkender, at der er et problem. Det gælder jo ikke bare denne her rapport, det gælder er alle undersøgelser, der bruger de her tal”.
